我们提出了SF2SE3，这是一种以分割形式估算场景动态为独立移动的刚体对象及其SE（3）运动的新型方法。 SF2SE3在两个连续的立体声或RGB-D图像上运行。首先，通过应用现有的光流和深度估计算法获得嘈杂的场景流。 SF2SE3然后迭代（1）样本像素集以计算SE（3） - 动作建议，（2）选择最佳的SE（3） - 动作建议，以最大值的覆盖率配方。最后，通过基于与输入场景流量和空间接近的一致性将像素分配给所选的SE（3）动作来形成对象。主要的新颖性是对运动提案采样的更明智的策略，以及提案选择的最大覆盖范围。我们在多个数据集上进行评估，以应用SF2SE3用于场景流估计，对象分割和视觉探光度。 SF2SE3的表现与艺术的状态相同，以进行场景流量估计，并且更准确地进行分割和进程。
translated by 谷歌翻译
A prominent approach to solving combinatorial optimization problems on parallel hardware is Ising machines, i.e., hardware implementations of networks of interacting binary spin variables. Most Ising machines leverage second-order interactions although important classes of optimization problems, such as satisfiability problems, map more seamlessly to Ising networks with higher-order interactions. Here, we demonstrate that higher-order Ising machines can solve satisfiability problems more resource-efficiently in terms of the number of spin variables and their connections when compared to traditional second-order Ising machines. Further, our results show on a benchmark dataset of Boolean \textit{k}-satisfiability problems that higher-order Ising machines implemented with coupled oscillators rapidly find solutions that are better than second-order Ising machines, thus, improving the current state-of-the-art for Ising machines.
translated by 谷歌翻译
2022-11-24
The 1$^{\text{st}}$ Workshop on Maritime Computer Vision (MaCVi) 2023 focused on maritime computer vision for Unmanned Aerial Vehicles (UAV) and Unmanned Surface Vehicle (USV), and organized several subchallenges in this domain: (i) UAV-based Maritime Object Detection, (ii) UAV-based Maritime Object Tracking, (iii) USV-based Maritime Obstacle Segmentation and (iv) USV-based Maritime Obstacle Detection. The subchallenges were based on the SeaDronesSee and MODS benchmarks. This report summarizes the main findings of the individual subchallenges and introduces a new benchmark, called SeaDronesSee Object Detection v2, which extends the previous benchmark by including more classes and footage. We provide statistical and qualitative analyses, and assess trends in the best-performing methodologies of over 130 submissions. The methods are summarized in the appendix. The datasets, evaluation code and the leaderboard are publicly available at https://seadronessee.cs.uni-tuebingen.de/macvi.
translated by 谷歌翻译
Histopathology imaging is crucial for the diagnosis and treatment of skin diseases. For this reason, computer-assisted approaches have gained popularity and shown promising results in tasks such as segmentation and classification of skin disorders. However, collecting essential data and sufficiently high-quality annotations is a challenge. This work describes a pipeline that uses suspected melanoma samples that have been characterized using Multi-Epitope-Ligand Cartography (MELC). This cellular-level tissue characterisation is then represented as a graph and used to train a graph neural network. This imaging technology, combined with the methodology proposed in this work, achieves a classification accuracy of 87%, outperforming existing approaches by 10%.
translated by 谷歌翻译
自主代理需要自定位才能在未知环境中导航。他们可以使用视觉进程（VO）来估计自我运动并使用视觉传感器定位自己。作为惯性传感器或滑板作为轮编码器，这种运动估算策略不会因漂移而受到损害。但是，带有常规摄像机的VO在计算上是要求的，它限制了其在严格的低延迟， - 内存和 - 能量要求的系统中的应用。使用基于事件的相机和神经形态计算硬件为VO问题提供了有希望的低功率解决方案。但是，VO的常规算法不容易转换为神经形态硬件。在这项工作中，我们提出了一种完全由适合神经形态实现的神经元构件构建的VO算法。构建块是代表向量符号体系结构（VSA）计算框架中向量的神经元组，该框架是作为编程神经形态硬件的抽象层提出的。我们提出的VO网络生成并存储了对展示的视觉环境的工作记忆。它更新了此工作内存，同时估计相机的位置和方向的变化。我们证明了如何将VSA作为神经形态机器人技术的计算范式借用。此外，我们的结果代表了使用神经形态计算硬件进行快速和效率的VO以及同时定位和映射（SLAM）的相关任务的重要步骤。我们通过机器人任务和基于事件的数据集对实验进行了实验验证这种方法，并证明了最先进的性能。
translated by 谷歌翻译
2022-08-26
在视觉场景理解中，推断对象的位置及其刚性转换仍然是一个开放的问题。在这里，我们提出了一种使用有效的分解网络的神经形态解决方案，该解决方案基于三个关键概念：（1）基于矢量符号体系结构（VSA）的计算框架，带有复杂值值矢量； （2）分层谐振器网络（HRN）的设计，以处理视觉场景中翻译和旋转的非交换性质，而两者都被组合使用； （3）设计多室尖峰拟态神经元模型，用于在神经形态硬件上实现复杂值的矢量结合。 VSA框架使用矢量结合操作来产生生成图像模型，其中绑定充当了几何变换的模棱两可的操作。因此，场景可以描述为向量产物的总和，从而可以通过谐振器网络有效地分解以推断对象及其姿势。 HRN启用了分区体系结构的定义，其中矢量绑定是一个分区内的水平和垂直翻译，以及另一个分区内的旋转和缩放的定义。尖峰神经元模型允许将谐振网络映射到有效且低功耗的神经形态硬件上。在这项工作中，我们使用由简单的2D形状组成的合成场景展示了我们的方法，经历了刚性的几何变换和颜色变化。同伴论文在现实世界的应用程序方案中为机器视觉和机器人技术展示了这种方法。
translated by 谷歌翻译
图形神经网络（GNN）正在化学工程中出现，以基于分子图的物理化学特性端到端学习。 GNNS的一个关键要素是合并函数，将原子矢量结合到分子指纹中。大多数以前的作品都使用标准池功能来预测各种属性。但是，不合适的合并功能会导致概括不佳的非物理GNN。我们根据有关学习特性的物理知识比较并选择有意义的GNN合并方法。通过量子机械计算计算出的分子特性证明了物理池函数的影响。我们还将结果与最近的SET2Set合并方法进行了比较。我们建议使用总和池来预测取决于分子大小的性能并比较分子大小无关的属性的池函数。总体而言，我们表明物理池功能的使用显着增强了概括。
translated by 谷歌翻译
产生具有良好稳定性特性的候选晶体结构的有效算法可以在数据驱动的材料发现中起关键作用。在这里，我们表明，晶体扩散变异自动编码器（CDVAE）能够生成高化学和结构多样性和形成能量的二维（2D）材料，这些材料反映了训练结构。具体来说，我们在2615 2D材料上训练CDVAE，其能量上方的凸壳$ \ delta h _ {\ mathrm {hull}} <0.3 $ ev/atom，并生成我们使用密度功能理论（DFT）放松的5003材料。我们还通过系统的元素替代训练结构生成14192个新晶体。我们发现，生成模型和晶格装饰方法是互补和产量材料具有相似稳定性的材料，但晶体结构和化学成分非常不同。总共我们发现11630预测了新的2D材料，其中8599个具有$ \ delta h _ {\ mathrm {hull}} <0.3 $ ev/Atom作为种子结构，而2004年，2004年在Convex Hull的50 MEV之内合成。所有材料的松弛原子结构都可以在开放计算2D材料数据库（C2DB）中获得。我们的工作将CDVAE确定为有效且可靠的晶体生成机器，并显着扩大了2D材料的空间。
translated by 谷歌翻译
最近，在学习的形象和视频压缩中取得了重大进展。特别是，生成的对抗性网络的使用导致低比特率制度的令人印象深刻的结果。然而，模型规模仍然是当前最先进的提案中的重要问题，并且现有解决方案需要在解码方面需要大量的计算工作。这限制了它们在现实方案中的用法和视频压缩的扩展。在本文中，我们展示了如何利用知识蒸馏来在原始参数的一部分处获得同样有能力的图像解码器。我们调查我们解决方案的几个方面，包括具有用于图像编码的侧面信息的序列专业。最后，我们还展示了如何将所获得的益处转移到视频压缩的设置中。总的来说，这允许我们将模型大小降低20倍，并在解码时间减少50％。
translated by 谷歌翻译
脑转移经常发生在转移性癌症的患者中。早期和准确地检测脑转移对于放射治疗的治疗计划和预后至关重要。为了提高深入学习的脑转移检测性能，提出了一种称为体积级灵敏度特异性（VSS）的定制检测损失，该损失是单个转移检测灵敏度和（子）体积水平的特异性。作为敏感性和精度始终在转移水平中始终是折射率，可以通过调节VSS损耗中的重量而无需骰子分数系数进行分段转移来实现高精度或高精度。为了减少被检测为假阳性转移的转移样结构，提出了一种时间的现有量作为神经网络的额外输入。我们提出的VSS损失提高了脑转移检测的敏感性，将灵敏度提高了86.7％至95.5％。或者，它将精度提高了68.8％至97.8％。随着额外的时间现有量，在高灵敏度模型中，约45％的假阳性转移减少，高特异性模型的精度达到99.6％。所有转移的平均骰子系数约为0.81。随着高灵敏度和高特异性模型的集合，平均每位患者的1.5个假阳性转移需要进一步检查，而大多数真正的阳性转移确认。该集合学习能够区分从需要特殊专家审查或进一步跟进的转移候选人的高信心真正的阳性转移，特别适合实际临床实践中专家支持的要求。
translated by 谷歌翻译